Random forest là gì? Các công bố khoa học về Random forest

Random Forest là gì?

Random Forest là một thuật toán học máy thuộc nhóm học có giám sát (supervised learning), dựa trên kỹ thuật ensemble learning (học tổ hợp), kết hợp nhiều mô hình con để cải thiện độ chính xác và độ ổn định. Cụ thể, Random Forest xây dựng nhiều cây quyết định (decision trees) trên các tập con ngẫu nhiên của dữ liệu huấn luyện và tổng hợp kết quả dự đoán từ các cây đó thông qua biểu quyết đa số (với bài toán phân loại) hoặc trung bình (với bài toán hồi quy). Việc sử dụng nhiều cây cùng lúc không chỉ tăng hiệu suất mà còn làm giảm rủi ro overfitting – một vấn đề phổ biến khi sử dụng mô hình cây đơn lẻ.

Thuật toán Random Forest được đề xuất bởi Leo Breiman vào năm 2001 và kể từ đó trở thành một trong những thuật toán mạnh mẽ và phổ biến nhất trong học máy, được áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, y tế, marketing, và khoa học dữ liệu.

Nguyên lý hoạt động của Random Forest

Random Forest hoạt động dựa trên sự kết hợp giữa hai kỹ thuật chính:

• Bootstrap Aggregating (Bagging): Kỹ thuật lấy mẫu ngẫu nhiên với hoàn lại từ tập huấn luyện ban đầu để tạo ra nhiều tập con khác nhau. Mỗi cây quyết định sẽ được huấn luyện độc lập trên một trong các tập con đó.
• Lựa chọn đặc trưng ngẫu nhiên: Tại mỗi nút của cây, thay vì xem xét toàn bộ các đặc trưng để tìm điểm chia tối ưu, chỉ một tập con ngẫu nhiên các đặc trưng được chọn để quyết định chia. Điều này giúp các cây trở nên khác biệt và giảm sự tương quan giữa chúng.

Quy trình xây dựng mô hình Random Forest bao gồm:

1. Tạo n tập con ngẫu nhiên (có hoàn lại) từ tập dữ liệu gốc.
2. Huấn luyện một cây quyết định trên mỗi tập con, với quá trình lựa chọn đặc trưng ngẫu nhiên tại mỗi điểm chia.
3. Tổng hợp dự đoán từ tất cả các cây:
   • Với phân loại: sử dụng biểu quyết đa số (majority voting).
   • Với hồi quy: tính trung bình giá trị dự đoán.

Ưu điểm của Random Forest

• Hiệu suất cao: Đạt độ chính xác tốt trên nhiều loại tập dữ liệu, đặc biệt là khi có số lượng đặc trưng lớn hoặc dữ liệu bị nhiễu.
• Khả năng tổng quát tốt: Cơ chế bagging và chọn đặc trưng ngẫu nhiên giúp giảm overfitting hiệu quả hơn nhiều so với cây quyết định đơn.
• Linh hoạt: Hỗ trợ cả bài toán phân loại và hồi quy. Ngoài ra còn có thể dùng để phát hiện giá trị bất thường (anomaly detection).
• Ít yêu cầu tiền xử lý: Không cần chuẩn hóa hoặc chuyển đổi đặc trưng (scaling, normalization), vẫn hoạt động tốt với dữ liệu có phân phối không đồng đều.
• Đánh giá tầm quan trọng của đặc trưng: Cung cấp thông tin định lượng về mức độ ảnh hưởng của từng đặc trưng đầu vào tới kết quả dự đoán.

Nhược điểm của Random Forest

• Kích thước mô hình lớn: Do số lượng cây lớn nên mô hình có thể chiếm nhiều bộ nhớ và tốn thời gian hơn khi dự đoán.
• Khó giải thích: Mặc dù mỗi cây riêng lẻ có thể dễ hiểu, nhưng tổ hợp nhiều cây làm cho toàn bộ mô hình trở thành "hộp đen", gây khó khăn trong việc phân tích kết quả.
• Không tối ưu trong thời gian thực: Nếu yêu cầu phản hồi nhanh như trong các hệ thống thời gian thực, Random Forest có thể không phù hợp.

Các siêu tham số quan trọng trong Random Forest

Khi huấn luyện mô hình Random Forest, có một số tham số ảnh hưởng đáng kể đến hiệu suất mô hình:

• n_estimators: Số lượng cây trong rừng. Thường càng nhiều cây, mô hình càng ổn định, nhưng cũng làm tăng thời gian huấn luyện và dự đoán.
• max_depth: Độ sâu tối đa của mỗi cây. Giới hạn độ sâu giúp kiểm soát overfitting.
• max_features: Số lượng đặc trưng được xem xét tại mỗi điểm chia. Có thể là giá trị tuyệt đối, tỉ lệ hoặc ‘sqrt’, ‘log2’.
• min_samples_split: Số lượng mẫu tối thiểu cần thiết để chia một nút. Giá trị cao hơn giúp cây tổng quát hơn.
• bootstrap: Có sử dụng lấy mẫu với hoàn lại hay không. Nếu đặt là False, tất cả cây sẽ huấn luyện trên toàn bộ dữ liệu.

Toán học đằng sau Random Forest

Cho một tập dữ liệu huấn luyện $D = \{(x_1, y_1), \ldots, (x_n, y_n)\}$, thuật toán tạo ra $B$mô hình con $T_1, T_2, \ldots, T_B$, mỗi mô hình được huấn luyện trên một mẫu bootstrap ngẫu nhiên từ tập dữ liệu gốc.

Với bài toán hồi quy, dự đoán tại một điểm dữ liệu mới $x$được tính bằng trung bình:

$\hat{f}(x) = \frac{1}{B} \sum_{b=1}^{B} T_b(x)$

Với bài toán phân loại, dự đoán được tính bằng cách chọn lớp có số lượng phiếu bầu cao nhất:

$\hat{y} = \arg\max_y \sum_{b=1}^{B} \mathbb{I}(T_b(x) = y)$

Trong đó $\mathbb{I}$là hàm chỉ báo: $\mathbb{I}(\text{điều kiện}) = 1$nếu điều kiện đúng, và bằng 0 nếu sai.

So sánh Random Forest với các thuật toán khác

Ứng dụng của Random Forest

• Y tế: Dự đoán khả năng mắc bệnh, phân tích hình ảnh y khoa, phân loại tế bào ung thư.
• Tài chính: Dự đoán rủi ro tín dụng, phát hiện gian lận giao dịch, chấm điểm tín dụng.
• Thương mại điện tử: Hệ thống đề xuất sản phẩm, phân loại khách hàng theo hành vi.
• Nông nghiệp: Dự đoán năng suất cây trồng dựa trên các yếu tố thời tiết, đất đai.
• Khoa học xã hội: Phân tích dữ liệu khảo sát, dự đoán hành vi cử tri.

Thư viện và công cụ triển khai Random Forest

• Scikit-learn – thư viện phổ biến trong Python cho mô hình Random Forest.
• randomForest – gói trong R cho các bài toán phân loại và hồi quy.
• Apache Spark MLlib – hỗ trợ Random Forest trên dữ liệu lớn.
• XGBoost và LightGBM – các biến thể mạnh mẽ hơn dựa trên nguyên lý boosting.

Kết luận

Random Forest là một thuật toán mạnh, đáng tin cậy và dễ áp dụng cho cả người mới bắt đầu và chuyên gia. Bằng cách kết hợp nhiều cây quyết định với chiến lược lấy mẫu và lựa chọn đặc trưng ngẫu nhiên, nó tạo ra một mô hình có khả năng tổng quát tốt, hạn chế overfitting, và hoạt động tốt trong nhiều tình huống thực tế.

Dù không phải luôn là mô hình có độ chính xác cao nhất trong mọi bài toán, nhưng Random Forest thường là điểm khởi đầu lý tưởng để so sánh và benchmark với các mô hình học máy khác.